LEV: Thinking Fast and Deep with Looped Decision Models
LEV：循环决策模型实现快速与深度思考
🧭 循环决策模型 · 自适应深度推理
Lehigh University · University of British Columbia · Vector Institute
提出 LEV，通过循环重跑层而非生成 token 实现自适应深度推理，在决策任务上以低计算开销提升准确率
📌 工作参考价值（4 点）
- 在排序/CTR 预估模型中引入循环 Transformer 层，共享权重跑多步，让模型根据样本难度自适应停止，在线推理可节省 15-24% 计算，准确率损失 <1 点，适合高 QPS 的广告精排场景。
- 借鉴 LEV 的联合训练策略：对每个循环步骤都计算损失并回传，训练时模拟不同深度，使一个 checkpoint 支持任意推理深度，便于线上动态调整 latency-accuracy 平衡点，无需部署多套模型。
- 设计轻量 stopper 网络，利用未标注请求（如线上曝光日志）拟合停止阈值，避免人工标注难度，可直接迁移到推荐系统中做自适应 early exit，在低延迟约束下最大化效果。
- 该工作表明循环层优于同延迟的稠密模型和级联模型（5.4-8.8 点提升），因此在资源受限的端侧或边缘推荐场景中，优先考虑循环架构而非简单加深或级联。